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DE 195 30 647 CI discloses a method of processing an input 
parameter for a neural network. DE 195 30 647 Cl teaches the 
addition of data into time series of neural networks and the 
improvement of noisy data. On the basis of known measured 
values from a time series and a predetermined error 
distribution, error distributions are calculated for the 
values to be added. From theses error distributions, samples 
are derived using a Monte Carlo method. From theses samples, 
the data to be added to the time series are derived. 

DE 195 30 647 Cl represents technological background with 
regard to the use of neural networks. It does not disclose a 
method for detecting the modes of a dynamic system with a 
drift segmentation model as claimed in the above U.S. patent 
application. 
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Die Erfmdung bezieht sich auf era Verfahren zm^Aiifberat^ doer EingangsgrdBe dnes neoronalea Netzes, 
d h» zur ueuronalen Modellierung von dynamischea Prozessen, von denen insbesondere unvoflstantfige oder 

5 scMechte Mefirdhen varGcgen. 

Neuronale Netze finden in die vidflltigsteii technischen Gebicte Eingang. Oberall dort, wo es gilt, aus 
komplexen technischen Zusammenh&ugen and aus unzoracheoden Informationen Ectschetdungen abzttletten, 
erweuen sich neuronale Netze ab besonders gedgnet Zur Bttdnng einer oder mehrercr AnsgangsgraBen 
werden dem nenronaien Netz beispielswcise eine oder mefarere Sngang sgrgfiea zugefOftrt tQexzu wird ein 

10 sofches Netz nntiM"* fDr den spezieUen Einsztzfafl traimert Neuronale Netze erweisen sich fflr vide EmsatzfSI- 
le als besonders geeignet, da aie universeilc Approxfrnatorcu sind 

Em hiafig auftretendes Problem im Zusammenhang mh dem Einsatz von nenronaien Netzen bcsteht aller- 
dings darin, dad haufig die Eingangsdaten zam Training; oder beim Betrieb des Netzes nicfat v oflstflndig and 
Dieser Sachverhali und anch die Tatsache, daB die MeBwerte fflr den Atifbau einer Zdtreihe, wdcbe dem 

15 neurooalea Netz zugefDhrt wird Mufig ungenau oder verrauscht sind, bewirken, daB teilweise schlecht Leroer- 
gebnsae der Netze endelt werdeo. 

Aos dem Stand der Technik sind verschiedene Aufbereittmgsmdglk&keiten fOr EutgangsgrSfien bekannt In 
der Palentschrift DD 2 66 661 Al ist erne Scfaaltungsanordmmg zur Approximation von MeBwertfolgen be- 
schrieben, bei der das Problem der Datenverarbeitnng von verrauscfaten Mefiwerten in Echtzeit dadurch geldst 

» wild, daB eine Approximation Ober fie Schit*tt"g der Zustandsgr&Ben erfoigt Unbekannte GrGBen werden 
dabet nach dem Prinzip der ma»mtmi4ikelihood ermhtelt Aus der europaischen Patentanmeldiing 
EPOS 04 457 Al ist ein Verfahren zur Ermitdung der Wahrscfaeinfichkeiten fehlender tetriehszustande bei 
technischen und biologischen Systemen timer Verwendung von Qnrolereigriiswahrscbeinlichkciten bekamrt 
Dort werden die Wahrsciieinlichkdten fehlerharter Betriebszustinde cincs tedmischen oder biologischen Sy- 

as stems dadurch ernrittelt, daB ein aflgemeiner Interpolationssatz fflr die Konstitution einer Vidzahl von friterpo- 
lationsfonneln fOr Widhrsdheinfichkdten einer dort angegebenen besthnmten Form angegeben wird. Aos der 
deutschen Offenlegungsschrift DE 42 41 812 Al ist ein Verfahren zur adaptive^ 

werteberdches bekannt Zur ad aptiven Qnantisxerung eines Eingangswertebere iches von Eingangswerten ernes 
Refers wild dort die MwendungenOT 
30 die ISngangswerte eingelesen mid einer QoantMenmgdea Eingangswcrtebereiches zugeordiiBt,wonachausder 
Vertentr"g dc Ejn g an g swgrte eing DkAtesdi ai z wer tfii nktian errcchnet wird welche in eine monoton stdgende 
AbbBdsmgdunktion tnuuf oi uiiert wird. „ . 

Andere MOgficbJcdten der Anfberehnng von iSngangsgrOBen sind derzeit aus dem Stand der Tecnnik mcbt 
bekannL 

. Die der Erfindung zugnmdefiegende Aufgabe besteht darin, ein Verfahren anzugeben, mh dem die Qoalitit 
von zehfich nacheinander wnfaflr^fftt EingangsgrdBen ernes neuronalen Netzes verbessert werden kann. Insbe- 
sonderesollendun±daserfindrmgsgem^ 
Diese Aufgabe wirdgemaB denMerkmalendesPatentinspnichsl gddat 
Wetterb3dunge3iderErfodungergei«nsf^ 

Ein besonderer Vortefl des erfindungsgemlfien Verf ahrens besteht darin, daB ausgeimtzt wird, daB <Be 
f eMenden Werte oder die verranschten Werte, wclciie den neuronalen Netz zugefflhrt werden sollen, Bestand- 
tefl einer Abfolge von Werten in der Zeitidhe sind Vortdn^ kann die bekannte Feblerver^lnngswabi^eii^ 
lichkeit der restKcben Werte dazn benutzt werden, urn fgr den fehlenden Wert nach dem eifindmigsgemaflen 
Verfahren eine erwartete Fehlerverteihuig tmd damh den erwarteten Wert beredmen zo ktonen. 
45 GCnstigerweise kdnnen nacb dem erfindungsgemiflen Verfahren anch fehiende Werte, die in der Zdtreihe 
benachbart sind bestimmt werden. DafQr ist em herativer Vorgang vorgeseben, der emmal den d ncn Wert 
beredmet unddanach den anderen mh den aos dem einen Wert gewoonenen Da^n ennittdt Gunstigei wase 
kann dieser Iterationsvorgang auch mehrfach durchgefuhrt werdei*, damh eine binreicfaende Genaui^ceh der zn 
bestimmenden Werte gewifarleistet ist t m 

50 Ri>y i f frf qr« kawm yt?rh rf«w fn-fin^iTngyggmflfign Verfdiren auch dn nemonsles Netz traanert werden, wejefles 

die Zeitrdhe nadib3de^ soQ, da dabd vo^ 
PtobenbczogenwHndL 

Gflnstigerweise wird fQr das Fehlerverhalten der vorbergesagten Werte der Zdtreihe eine Gaufiverteilimg 
angenommen, oder festgdegt da dies eine Vertriliirig fat, wdche praziaiaben Werten weitcstgehend entspnebt 
55 Vorteahaft werden dnfodie aranerische Verfahren beim crfindaugsgem5fien Verfehrai eingesetzt, mnfeh- 
lende Werte h^timmwi zn kdnnen bzw. urn einen kQnftigen Wert in der Zettreihe mh fehlcoden Werten 
vorfaersagen zn kfinnen* 

VorteOhaft werden nach dem erfindungsgemaflen Verfahren dnfecbe mathematiache Methoden angegeben, 
tan MeBweite entspredieiid aofbeidtea m 
eo Bescnders vorteflhaft werden Methoden angegeben, urn verrauschte MeBwerte aufeubcrdten, bzw. am 
MeBwerte anfznbereitcn, wetefae eine bekannte nnd dne onbekannte Raoscfakompcmente e nt ha h e n , nm damrt 
das neuronale Netz anf einfacbe Weise and effSztenxtrainieTenzakfinnen. 

Im folgenden wird die Erftndung anhand vonFigurenwehereriiutert 

Figi IzeigteineZehreOie, 
65 Fig» 2 zeigt eine Zeitreihe und em System verhalten, 

Flfr 3 zeigt ein nenronales Netz welches traimertwird ^, 

Fig. 1 zeigt dne Zdtreihe von MeBwerten, welche bdspidsweise emem nenronaien Netz zngefOhrt werden 
kOmien. GemaS Hirer zdtficfaeri Abfolge werden diese MeBwerte bdspidsweise von euaem techniscfaen System 
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erfaBt und gem&B Direr zeitfkhen Abfolge mit yt bis y t -a bezefchnet Die dargesteliten Pfefle zwischen den 
einzelnen Klstchen symbolisieren die Abhangigkeiten der Yerschiedenen Werte untereinander. Beisptelsweise 
wird in Fig, 1 davoa aasgegangen, daS der Wert y t -2 fehlt Die im Markov blanket relevanten Werte, ab 
benachbarte Werte dieses fehlenden Meflwertes, sind y t _4, y*_s, yt-i und yt, Ein solcfa fehiender MeSwert in 
einer Zeitre&e kann beispielswdse dadurch entstehen, daB zum fraglichen Zeitpunkt das MeSgerlt, zur Werte- 5 
aufnabme nicht fiinktionierte, oder daS es zwischen einzelnen gemessenen Wertea gtinstig erscheint, ran das 
neuronale Netz besser zu trainieren, diesem einen weiterea Wert zuzufuhren, der folgfich noch zu bestimmen ist, 
also nach dem erfindungsgem§Ben Verfahren erzeugt werden soil. 

Fig* 2 zeigtZeitreihe aus Fig. 1 in Verbindungmh einem neuronalea Netz NM Es ist zu erfcermen, daBy one 
zeitabtangige Variable darstellt, weicfae das Systemverhalten SY dues technischea Systems reprSsentiert Wie 10 
erkarmt werden kann, entsprechen die Werte yt bis yt-e MdJwerten, welche dem Systenrverfaof SY entnommen 
werden. Durch die gestrichdten Pf die zu den jeweiligen Zekpunkten ist symboltsiert; dafi diese MeBwerte dm 
neuronalen Netz NN beim Betrieb oder beim Training zugefuhrt werden soflerL 

Wie auch in Fig. 1 ist der fragllche MeSwert M Or den Zeitpunkt yt-2 nicbt vorfaandes. FOr cfiesen MeBwert 
M ist seine Wahrscheinlicbkatsdichte a angegeben. Diese Wahncbeinlichkeksdicbte a kann beisptelsweise nach 15 
dem erfindtmgsgemiBen Verfahren ans einer vorgegebenen bekannten FeMerverteilcngsdichte der Qbrigen 
MeBwerte ruckgerechnet werden. Insbesondere wird dabei ansgenctzt, daB sich der fehlende MeBwert zwischen 
zwei bekannten MeBwerten befinden muB und damit auch dessen Fehler dnrcb die Fehler der benachbarten und 
der restfichen MeBwerte der Zehreihe begrenzt wird Die zognmdeliegende Zeitrexhe Ififit sich wie folgt 
beschreiben: 20 

yt « fiCsrt-ityt-a- »»yt-K) + ct (l) 

Dabei ist f entweder bekannt oder wird hinreichend durch ein nenronales Netz modelfiert at bedeutet dabei 
einen addhiven onkorreSerten Fehler mit zeWichcm Mktdwert d Dieser Fehler weist dabei und das ist fur das 25 
crfindungsgemafie Verfahren essentieO eine bekannte oder vorgegebene Wahrschefadichkeitscfichte P c (8) auf 
und versinnbildficht iypischerweise die unmodeffierte Dynamik der Zehreihe. Beisptelsweise soil fQr eine solche 
Zeitrexhe, die oach dexn erfindongsgemaBen Verfahren komplettiert werden soli, on zukunftiger Wert vorherge*- 
sagt werden. Dabei ist zu beachten, daB zukUnftige Werte rdativ zu der momentanen gew&hlten Zeitpositfon zu 
verstehen sind Das heiBt fQr einen Zeitpunkt y t -s ist der Zeitpunkt yt-4 exn znkCnfdger Wert Unter diesen so 
Voraussetzungen ISSt sich die bedingte Wahi^euilichkertsdichte fur einen vorherzusagenden Wert der Zehrei- 
he wie folgt beschreibea. 
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P(ytiyt-i,yt--*...,yt-N) - P«(y-(yt-i,yt-**..Myt-N)) (2) 

Wie bereits erwfthnt muB die Fehlerverteilungsdicfate bekannt seia Diese Vertexlungsdichte kann entweder 
anhaztd des Systemveriialtens und bekannter andcrer aufierer GrdBen ennxttdt oder vorgegeben werden. Eine 
typisdie Fehlerverteihing; die in der Praxis anftritt ist die GauBverteihmg. Mit einer solemn angenommenen 
GauB'schen Fehlerverteilung lfiBt sich die bedingte Wahrschem&Mdtsdkhte wie folgt beschreiben: 

40 

P(yt|yt-byt-*-..,yt-N>- G(y t ;f(yt-i.-..yi-NXo 2 ) (3) 

Darin bedeutet G (x; c; o 3 ) die Notation fflr eine nonnale Dichte, die bei x bestimmt wird mit einem Zentrom C 
und einer Varianz o 3 , Geht man davon aus, daB das zu beschreibende System in Form einer Folge von Werten 
auf einer Zeitachse dargestellt wird so kann man die einzelnen Werte von yt audi als ZufaflsvariaMe in einem 45 
probabiSstischen Netzwerk auffassen. Dabei Uegt der Erfindung das Problem zugrunde^ einen Wert der Zehrei- 
he vorheizosagen, indent die vorhandene tnformation aus den restfichen Werten mogfichst voSstSndSg verwen- 
det wird Unter Voraussetzung der Annahmen^ die zuvor gemacht wurden, IfiBt sich die gesamte Wahrscheinfich- 
keitsdichte der Zeitreihe wie folgt beschreiben: 



so 
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Dabei wild davon ausgegangen, daB yt-k mh k ^ N der fehlende Wert ist Vorausgesetzt, daB y° - {yt-k} and 
« jyt-i, , yt-k-N}\(yt-k} gilt, kann der erwartete Wert der in der Zehreihe vorherzusagen ist wie folgt 
beschrieben werden: 

E(yt|Mt-i)- f^-b...,jfc-b.-M»-lOP<y , W* B (5) » 

Dabei gdten f edgende Voraussetzungen: 
Mf.t steht fQr aDe Messungen bis zum Zeitpunkt t-L Die voranstebende Gleidmng ist die grundlegende 
Gleichung fQr die Vorhersage mit fehlenden Daten. Dabei ist besonders zu beachten, daB die Uhbekannte y t -k 
mcht nur von den Werten der Zehreihe vo r dem Zeitpunkt t — k abh&ngt, sondern auch von den Messungen nach & 
t-k. Der Grand besteht darin, daB die Variablen in y™ U yt ein minimales Markov blanket von yt-k formea 
Dieses mmimaie Markov blanket besteht aus den direkten Vorfahren und den direkten Nachrahren einer 
Variable und alien direkten Vorfahren von Variablen des direkten Nachfo!gerx Im betrachteten Retepid in 



yt-fc-t.«.yt-k-M 
s taiddiedirektmHterndeaNachf^ 

yi-i».«yt-k-if+* 

Aias den theorctischea Grandlag« ist bckaimt, dafi eme Variable unabh&ngig von doer anderen VariaMen 
ia dieses Netzwerkes ist wena die Variablen innerhalb des Markov blankets bekannt sind. Deshaib wird die 
bendtigte bedingte Dichte ans Gleichung(5) wie fotgt bestimmt: 

Wy^ocP^-ilyt^.^yt-i-M) 

x Po^-2|yt^-.-.yt-b..-,yt-2-N)-"Purt-k|yt-k-i > .--.yt-ic-N) (»> 

15 Der hier beschnebene Fall eines fehlenden Meflwertes kaim audi ofane Besdbrankung der Erfindnng anf 
metre re nefaenemandexfiegende fehlende MeOwerte ansgedefant wexden. Falb <Ses der Fall ist, muB bdspiel&- 
T^ft^h H^n wfinrf n ng^ w njiBen Varfahren znnicfart der dnc Wert anhand seiner Nachbatn und Eltern and 
Vorfahren bestbnmt wexden end wit diesem bestimmten Wert dana der weitere Wert ermittelt werden. Dies 

2q kumsolangetin-imdhergeto 

y" £ iyt-i,yi-*...,y*-4 (5c) 
F(fralle fehlenden Wme der Zeitrahezwischendem 

25 

y" £ fyt-iiK-*— .yt} (5^ 

welche dieZahl aHer MeBwerte bis znm Zekpunktt-liepiisentiartAucbgat 
30 PJy tt |y n, )aF&t.i > .-,ya i yi) (5eX 

wobei die rechte Selte in (5e) ans Gbsdmng (4) erhalten wird. Im allgemeineii sind cfiese Integrate in den 
voranstehenden dekrfrangen fOr die Fimktion fift falls dies cine mcbtJmeare Funktkwi ist nicbt anatytiscb fitabar. 
Details fQr (fie aumerische Losung mit Hilfe der Ziehung von Monte Cario Probea werden im Znsammcniiaiig 
35 mit Kg- 3 angegebea. 

Ffjfc 3 zdgt zwei Representational ernes neurocalen Netzes NN1 tmd NNZ Zum einen kann cues so aafge&ist 
werden, dafi NN1 znm einen Zehpnnkt vorfiegt und NN2 zn einem anderen Zeitpunkt es kann skb aber audi 
umzweifaiinirtettvendiiede^ 

die neuronaten Netze kommaaizieren ktancn, im Falle einer Identitat der betdea Netze sind damk zdtiidi 
40 aufemander folgende Austauscbvorgfinge gememt NN2 gibt Daten fiber die Datenstrccke 100 an NNI wetar. 

NN1 gfibt Datentiber die Datenstreckc ISO an NN2 wetter. Die emzdnen Werte derZehrcme, wddhc inFig- 1 

and 2 darges^ siiut, smd der Hn£a^ 

weiterhin cfie Voraussetztmg fQr die anderen Fignren gdten. 
BdmTYainiiigdes Netzes nto fern 
45 daflyi,...ytntfgiicheWertederZ^^ 

fy u ... , alle TPibeM"«*w WertebezekimeiL Das netiranale Netz, welches die ftraktioa f modemert 



ft^rt-u—yt-N) « NNw(yt-i»—.yfc-N) 

so 

Ej irann «hw*m TWhriiiilrf mg Her FjrfinAmg jednch tnch ein anderer bekannter parainctrisierbarer Funktiong- 
approximator wwendet werdea Die loggrimmacfae WahncAeimichkdtrfnnktbn. aach log Ukdmood Fonk- 
don genannt, lautet dann: 

s L-logJP M ^yt-u....ya > yi)dy a 

y w , — »y^4f) (6) 

ap^xnniert tmd ffir das nenrooale Netz folgender Zarammenliang fflr die Bertcbmmg der FdOewrtdirngs- 
$5 cfic ht e gih: 

P*V I yt-uyt-a- .»yt-H) - P.(yt - NN w (yi-uyt-i-^^»k) CO 
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Fur das Lernen mit Hilfc von Backpropagation, Oder anderer gradientenbasierter Urnalgorithmen wild mm 
nods der Gradient der logarithmischen Walu^cheinlichkeitsfunktion benfltigi; welcher skh zu; 

ergibt Es ist anznmerken, dad hierfaei von bekannten Ansgangsbedingungen fOr yt, . . . , yN ansgegangen wird 
Fiir den Fait dafi eine GauSverteilungfurdie Fehlervertcilung vorGegt ergibt stch daraos: io 

Ik-NN^^y^ ^^-y^ pM^, , r)4r (8a) 



is 



wobciy u ® =- y° n {yi, . . . yi- n} die fehlenden Wertc fur die Eingflnge des Netzwerkes darsteflen und (8a) zeigt, 
daB falls afleyi...yi-N bekarmt sind, das fategral venchwindet 
Falls die MeBwerte von einera zusStzfichen Rauschen uberiagert werd en ergeoen sicn die TOutenden Zusam- 

der 30 



yt - fi(yt~i*y*-a".,yt-N) + st t 

In dieser Variante der Erfindung soil jedoch kem direkter Zugriff auf y t besteheiL Anstatt dessen wird die 
Zdtreihe 25 

zt - yt + 6t 

gemesseit Darin bedeatet 8t ein tmabh5ngiges Rauschen mit Mittelwert NuH Unter der Voranssetzung, daB z - 
{zi _ . 2t-if und y = {y t . . . yt} geiten, ergibt sicfa cfie Gesamtwahrscheinlichkeits<Sdite zu: so 

P<y,zHP{y K .".yi>n^^ tab) 

1*K+I fc=t 35 

damit lflBt sich die Rechenvorscbrift fur den erwartetcn n&Asten Wert der Zeitreihe angebea 
E(yfc|z - Jf(y t -i M ..,y t _i^P(yt-i yt-N|z)dy t -i...dyt-K (9) 

40 

Ebenso kann der Gradient der Wahrscheiiifichkeitsfunktion fur das Training berechnet werden. Fur den Fall 
daB eine Ganflverteflong des Rauschens mit 

z = {zi - - . Zt} 

45 

vorliegt ergibt sich: 

tr-H Oa) 

Dera neuronalen Netz werden bd einer Variante des erfindcngsgOTafien Verfabrens beispidsweise Werte ss 
zugefBhrt, die verrauscht oder mcht genau bestimmbar sind. Durch die Approximation der Gewichte im 
nenronalen Netz werden dabei fiber die Funktxon U welche dabei durch das neuronale Netz nachgebildet wird, 
neae Werte der Zeitreihe bestimmbar. Diese neuen Werte der Zeitreihe werden tm Anschlufl Qber die Daten- 
strecke 150 dem writer en neuronalen Netz NN2 zagefuhrt, welches daraus wiederum durch Nachbikhmg der 
Funktton f neue Werte der Zeitreihe bestimmt Dieser iterative Vorgang wird solange fbrtgcsetzt, bis eine so 
hinreicbende Genauigkdt der zu bestimmenden Werte erreichtwinL 

Zur genauen Bestiramung f ehlender Werte mit HHf e der Monte Carlo Methode wird von folgenden Grundla- 
gen ausgegangea Es ist bier zu beach ten, daB atfe L5sungen<fie Form 

/h(mn)P(u]m)du (9b) 65 



aufweisen, wobei a den Satz von unbekaimten Variable ci and m den Satz von bekannten Variablen bedeatet Ein 
Integral dieser Form kann beispielsweise geldst werden, indern Zufallsproben der unbefcannten Variablen 



gem&B P(u | m) gezogen warden. Beispielsweise werden olese Proben mit u l t ...,u" bezeichnet Daraus ergibt 
sichfolgender 7jisammenftang fOr <Se Amdherong: 

Jh(u;m)P(uIm)dn« Oc} 

Es ist zu beachten, daB indieser detaining a den Wert yt-fe wek&er fehh, entspricht. Mit dieser errmdungsge- 
m&Ben LBsung reduziert sicfa das Problem also darauf, aus P(a | m) Proben zu Ziehen. Fttr den FaH daB lediglich 
eine Variable fehlt, reduziert skh das Problem also auf das Probenziehen aus einer einvariablen Verteflung, 
wefcfae mit HDfe des ^ainpImgimportanccHra^ Oder andercn sampHng-Techniken [1] getan werden 
kann. 

FOr den FaflL daB mefar alsein MeBwert fehlt; wird die Situation etwas kompfizierter. Der Grand besteht daria, 
daB die unbekannten Variablen in der Regel voneinander abhangen and daB von der Verteflung aller imhekann- 
ten Variablen gezogen werden muR Hue aOgemetne Lflsung daffir gibt das Gfcbs-Sampling [1] an. Beim 
Gibbs-Sampfing werden (fie onbekanaten Variablen mit Zufallswcrtcn, oder besser mit geschfltzten Ansgangs- 
werten midalisiert, wdche beispielsweise aus den benacnbarten Werten der fehlenden Werte abgdeitet werden 
ktanen. Im Ansdilufi wird eine der unbekannten Variablen 14 ausgewihlt und eine Probe von PtoijzzvaXni) 
gezogen; dann wird m auf diesen Wert gesetzt Im Anschlufl wird die Prozedur fUr die nichste unbekannte 
Variable wiederbolt onr. Abgesehen von beispielsweise den entea Proben werden die Proben vorzttgsweise mit 
der korrekten FeMenrerteihuigsdichte gezogen. Dies bedeutet jedoch, daB fur afle Unbekaiinten, die jemals in 
der Zeitreihe auftraten, Proben gezogen werden mussen. In der Praxis karat aber beispielsweise das Zeitfenster 
am dem Proben gezogen werden auf eine vernflnftige GrdSe beschrftnkt werden. Beispielsweise kann diese 
Grfl8e der GrfiBe des Mtorkov blanks 

Fall daft zwischen zwei fehlenden Werten N anfdnaiiderfolgende Werte bckannt rind, de Kopplung zwochen 
rfffti T T iih»hi nntwi *nfhrirhi nna HftB B»^fgWertg rfw Tuitregfo* deshalh pidbtbenirksichtiyt werden mttssen. ^ 

Das Probenzieiien fOr znkfinfnge Werte ist nach dem erfindungsgem&Ben Verfahren besonders einfach. £s ist 
jedoch za beachten, daB es so nicht fur deterainistische Systeme funktiomert Dnrch die errmdtingsgeniSfie 
Vorgehensweise wird eine besonders ifttfadw Losong fOr diese besonders kompGziert erscheine n den Sachver- 
hahe gefunden. FOr die Vorhersage der Werte der Zeitreihe werden die nacfa der entsprechenden Verteflung 
gezogenen Werte substituicrt and die Prognosen davon gemlttdt, welches nach dem erhndungsgemftBen 
Verfahren den fehlenden Wert ergfrt Beim Training des Netzes wird beispielsweise der Durchschnitt der 
Fehlergradienten gebildet, indem zu deren Berechmmg die Werte der Zeitreihe verwendet werden, wtlche mit 
den Proben bestimmt wurden. Beim Ziehen der Proben nach der Moote-Carlo-Methode kann beispielsweise wie 
fblgt vorgegangen werden. 

Es soften beispielsweise K-Schritte in der Zukunft der Zeitreihe vorhergesagt werden. Im Znsannnenhang mit 
dem oben besprocheoen Gleichmigen bedeutet dies, daB die Werte yt-i, ... , yt-s:+i fehleo, und daB onter 
diesen Voraussetzungen yt vorhergesagt werden sofi. Unter diesen Voraossetzungen ist die Monte Carb 
Methode sehr einfach. Zunflchst muB beispielsweise von der VerteiQang P (yt-ft+i | yt-K, .... yi- JWf) eine Probe 
gezogen werden, Diese Probe wird mit yi-K+i* bezeichnet Mit dieser Probe und den vorangegangenen 
Messungen wird beispielsweise eine weitere Probe yt-K+2 aus der Verteflung P(yt-K+2 | Yt-K+i*, $ 
yt-a:+ i«M osw. bis jede Probe fur jede Lhibekannte erzeugt wurde. Wenn man cfiese Prozedur S-ntal wiederholt, 
soerhilt man 



Tiit» ^rpmrrwnt^lpn Bjifatirfe Imhgfi ggmg^ daB das erfindungsgemifle Verfahren sdbst bei wenigen Proben 
vie! besser arbeitetals die bisher verwendeten numerischen LO»mgsveirahren. 
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Pfli f e n tai tfpr flchft 

1 VwfaWp *yr A^ifWpitfTTng einrr Pfngoftgrggrftfe em« ng»ron»I«i Ncfcres nrit folgenden Merkmalen: 

a) es wird eine Zeitreihe aus einer Menge voaMeflwerten der variablen Eingan 

Pmggng«grriBg m ifisfaretMi Zritp nnkten besrimnrt winh ^ ^ 

b) von einem den MeBwerten OberUgerten ankorrelierten Rauschen endhcher Varianz, das im zein> 
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cfaen Mittd Nail ist» wird die statistische Rauschverteihffig ermitteft und/oder vorgegeben; 
c) ein fehlender Mefiwert inder Zeitreihe wird als Fefalwert aufberatet, indem mindestens aus einem 
dem Fehiwert in der Zeitreihe benachbarten MeBwert nach der bekannten statistischen Rauscbvertei- 
lung dessen statistische Fehlwert-Rausdxvcrteilung faerechnet wird imd der Fehiwert berechnet wird, 
mdera gemaS der Fefahrat-Rauschverteilucg mindestens zwei Monte-Carfo-Proben des Fehlwertes 5 
gezogen werden, welche den Fehiwert ersetzen. 
2. Verfahren nach Anspruch 1, bei dem ein vorfcerzusagender Fchlwcrt in der Zeitreihe ab Prognosewert 
bestimmt wild, indem far den Fehiwert mehrere Monte-Cario-Proben gezogen and deren Prognosewerte 
bestimmt werden, und der Prognosewert als arithmetrisches Mktel aos alien Qber die Proben besdmnxten 
Prognosewerte beredmet wird 10 
3* Verfahren nach Ansproch 1 oder % bei dem von zwei fehlenden und unmittelbar benachbarten Mefi wer- 
ten der Zeitreihe zunSchst der Erste aufbereftetwiidundimAnschiuBdaranui^ 
aofbereiteten der Zweite bestimmt wird 

4* Verfahren nach einem der AnsprGche 1 bis 3, welches mehrfach ausgefuhrt wird 

5. Verfahren nach einem der AnsprQcbe 1 bis 4, bei dem das neuronale Netz anhand der Zeitreihe nrit dem is 
durch <fiese reprasentierten Verhalten ernes technischen Systems trainiert wird, wobei bei einem Lernschritt 
bei der Backpropagation die Lemschrittwehe far die airf 1 m>rmierten Engangsgraflen des neuronalen 
Hetzes zu % 1 dividiert dimft die Anzahl der gezogeoea Monte-Carlo-Proben festgelegt wind 

6. Verfahren nach einem der Ansprflche 1 bis 5, bei dem als statistfeche Rauschvertetlung eine GavSvertet- 
hingverwendetwird. 20 

7. Verfahren nach einem der AnsprGche 1 bis 6 out einer Zehreihe der Form: 

yt = fi(yt-i»yt-4"Myt-K) + et (la) 

mit et: statistische RauschverteHung 25 
y: MeBwerte der Zeitreihe 

y t : vom neuronalen Netz vorherzusagender Fehiwert 

bei der (fie Funktion f bekaimt vsX oder durch das neuronale Netz modeffiert wird mid die statistische 
FehlerverteOungsdicfatezu: 



3a 



35 



Pe^t-i -f&t-i J yt-2i--Myt-M))« PCy*"M^-i.7t-4»Myt-N) (2a) 

bestimmt wird woraus die Monte-Carlo- Proben yt-k 1 . . - - » yt-k* gezogen werden und sich em erwarteter 
vom neuronalen Netz vorherzusagender Fehiwert mit den gezogenea Proben zu: 

ECy^^^^lifCy^.m) / (3a) 

40 

ergibt 

mit: y t -k fehlender Mefiwert inder Zeitreihe k s N 
m: aDe bekannten MeBwerte der Zeitreihe 
S; Anzahl der Proben. 

& Verfahren nach einem der Anspruche 5 bis 7, bei dem das neuronale Netz mh mindestens einem 45 
aofbereiteten Wert nach fblgender Lerafunktioa tntimcrt wird: 

3L 

mit: w: Neuronengewichtung 

L: logarithmische WahrschdnBchkeitsfimkdon 

T]:Lemfaktor 55 
wobei gilt: 

mit: NN W : Werte der Funktion aus dem neuronalen Netz 

wobei fQr yt* MeBwerte der Zeitreihe Verwendung finden und falls ein Wert nicht vorhanden i$t aus der 
WahrscheMchkehsvertdJungsdtchte: 65 
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Monte-Carlo-Proben gezogen werden mit: 

m: alle bekannten Mefiwerte der Zcitrciiie. . 

&VerfahreniiachAiispnic^^ 

folgender Lernfonktion traimertwird; 

BL 

wobeigilt: 

i* -™.<y H .-^>) - 3NN - ( t---*- ) - • 



mteNNw: Wcrtc der Fonktbnaos to 
ftidro im4 ^ em Wmnidit TOrfamden 1st, aw 

Monte-Caxlo-Proben gezogeawerden mit: 

m:aUcbekannteaMefiw<^dcrZritreait * 

laVerfatawnachAnspn^ 

and die Mefiwerte von dnem weiteren Ranscfaen flberi agert we itien, dessen statxstische Rauscnverteitang 
befatnirtistodervorgegebenwu^^ 

zt - y t + S - (yt-uyt^x-Myt-N) + * (ta*) 

tmb^asnte atatistische Rausdiverteilung 
5t: bekannte stalistische Raoschverteiuing 
y : Mefiwerte dcr Zeitrdhe 
yt: vom neorunalen Nete vorherzusagender Fciilwert 
bd der diestatistische Pefalenrerteilangsdidne za: 

P«(yt-i.yt-a-..yt-N)) = P& t |yt-i,yt^.-,yt-N) (2a*) 

besttmmtwirdunddfe 

PCy^PCy^yn) IIP(yiiyw--y«)fl^«yi) < 3a *> 

t • 

besthnmt wird, so daB sfch ein erwarteter vom neuronalenNetz vorherzusagender Fehfwert ana nrindesteos 
emem aofbereiteten Wert za: 

H(yt|2}- Jft>t-t,.-.,yt^N)P(^-u-Myt-NhI)dyt-u-..»dyi_N 

ergibt.wobeifiir 

P(ft-i»...,K-Br|z) 



It 
wird: 



3L 

mit: w: Kctvoneagewicfatang 

U logarithmische Wabrscfaemfichfceitafanktion 

tj: Lernfaktor 



8 
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f=tJy.-NW.(y H ,^,y H ,) ^- & H---W xfMfrM _ y ^ H _^ 

5 
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